Câu nói: "Dân miền Bắc mới có khả năng lãnh đạo quốc gia. Dân miền Trung hợp với buôn bán, dân miền Nam chỉ làm tướng võ biền" [6]

Những năm tháng cuối đời, ông sống chung với em gái, em rể, và người con trai lớn là Lưu Vĩnh Châu, tên thật là Trần Văn Dõi, một cán bộ của Ban Công nghiệp Trung ương đảng Cộng sản Việt Nam của Việt Nam Dân chủ Cộng hòa ở miền Bắc, nguyên là đại úy Quân đội Nhân dân Việt Nam đã từng tham gia trận Điện Biên Phủ.

Ông mất ngày 27 tháng 1 năm 1982, nhằm ngày mồng 3 Tết Nhâm Tuất, hưởng thọ 80 tuổi.